AI Papers Daily

#Token Diversity

2 篇

Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning

超越截断：将 LLM 解码重新定义为集成剪枝

🧭 LLM 解码 · 集成剪枝

Institute of Statistics and Big Data, Renmin University of China · Big Data and Responsible Artificial Intelligence for National Governance, Renmin University of China · Center for Applied Statistics, Renmin University of China

提出 Mahalanobis-Ensemble Decoding，基于 token 嵌入相似度做集成剪枝，提升解码多样性且近乎零开销

📌 工作参考价值（4 点）

• 在电商/广告文案、搜索 query 推荐等文本生成场景，可直接作为解码端插件，用 token 语义相似度矩阵做候选剪枝，减少重复 token 和语义冗余，无需重新训练模型。
• 若业务中已有 LLM 生成候选商品描述、推送文案或 Agent 规划路径，可把 ME-Decoding 的 adaptive-bandwidth kernel 思路迁移到自有 token/item embedding 上，构造 Mahalanobis 距离驱动的多样性目标，提升候选集召回质量。
• 该方法强调 near-linear 复杂度和 early stopping，适合线上推理延迟敏感场景；在 beam search 或采样前对候选 token 做一次轻量剪枝，可作为低成本的多样性增强层。
• 对生成式推荐中的 Semantic ID 或多 token 生成路径，可用相似度矩阵动态 discount 冗余路径，缓解生成结果坍缩到高频 ID 或重复 token 的问题。

LLM | 2026-09-16 | cs.LG | score 7/10

LLM DecodingEnsemble PruningMahalanobis DistanceToken DiversityPlug-and-Play

Beyond Temperature: Hyperfitting as a Late-Stage Geometric Expansion

超越温度缩放：超拟合作为后期几何扩展

🧭 LLM 微调 · 生成多样性 · 机制分析 ★ 深度解读

Department of Statistics, LMU Munich · School of Computer and Information Engineering, Henan University · Munich Center for Machine Learning (MCML)

揭示超拟合通过动态排序重排而非分布锐化提升生成多样性，并仅微调最后 5 层即可复现该效果

📌 工作参考价值（4 点）

• 终端层高效微调：Late-Stage LoRA 仅更新最后 5 层就能复现完整超拟合带来的多样性提升，在 1.5B-2B 模型上减少约 78-83% 训练参数，大幅节省 GPU 小时，可快速迁移到电商对话或商品文案生成。
• 过拟合亦可有益：在极小数据集（2000 条）上训练到近零损失，反而增强了贪婪解码的词汇多样性与连贯性，这提示我们在数据稀缺场景（如特定品类描述）可主动推进过度拟合以打破重复模式，而非提前停止。
• 确定性解码的多样性诊断：通过跟踪 token 的来源排名分布（Top-1 一致率、深层尾 token 提升比例）和最终层有效维度变化（∆Dim ≈ +80），可量化模型是否学到真正的“排序重排”，避免仅依赖困惑度等指标误导，可用于监控推荐文案生成质量。
• 上下文感知的多样性提升：静态偏置注入实验表明，超拟合不是全局词汇偏置，而是动态、语境相关的排序改变。这暗示在电商推荐中，若想生成多样化的商品描述，应避免简单规则（如禁止重复 n-gram），而应通过微调让模型在不同上下文中自主决定何时使用高频词或长尾词。

Training | 2026-05-21 | cs.CL | score 8/10

HyperfittingRank ReorderingLate-Stage LoRAToken DiversityGreedy DecodingMechanistic Interpretability